弱监督的语义细分(WSSS)旨在仅使用用于训练的图像级标签来产生像素类预测。为此,以前的方法采用了通用管道:它们从类激活图(CAM)生成伪口罩,并使用此类掩码来监督分割网络。但是,由于凸轮的局部属性,即它们倾向于仅专注于小的判别对象零件,因此涵盖涵盖整个物体的全部范围的全面伪面罩是一项挑战。在本文中,我们将CAM的局部性与卷积神经网络(CNNS)的质地偏见特性相关联。因此,我们建议利用形状信息来补充质地偏见的CNN特征,从而鼓励掩模预测不仅是全面的,而且还与物体边界相交。我们通过一种新颖的改进方法进一步完善了在线方式的预测,该方法同时考虑了类和颜色亲和力,以生成可靠的伪口罩以监督模型。重要的是,我们的模型是在单阶段框架内进行端到端训练的,因此在培训成本方面有效。通过对Pascal VOC 2012的广泛实验,我们验证了方法在产生精确和形状对准的分割结果方面的有效性。具体而言,我们的模型超过了现有的最新单阶段方法。此外,当在没有铃铛和哨声的简单两阶段管道中采用时,它还在多阶段方法上实现了新的最新性能。
translated by 谷歌翻译
尽管最近在跨模式检索领域取得了进展,但由于缺乏手动注释的数据集,研究的重点较少。在本文中,我们提出了一种用于低资源语言的噪声跨语法跨模式检索方法。为此,我们使用机器翻译(MT)来构建低资源语言的伪并行句子对。但是,由于MT并不完美,因此它倾向于在翻译过程中引入噪音,从而使文本嵌入被损坏,从而损害了检索性能。为了减轻这一点,我们引入了一种多视图自我验证方法来学习噪声稳定目标语言表示,该方法采用了跨注意模块来生成软伪靶标,以从基于相似性的视图和功能 - 功能 - 基于视图。此外,受到无监督的MT的反向翻译的启发,我们最大程度地减少了原点句子和反翻译句子之间的语义差异,以进一步提高文本编码器的噪声稳健性。在三个视频文本和图像文本跨模式检索基准跨不同语言上进行了广泛的实验,结果表明,我们的方法显着改善了整体性能,而无需使用额外的人体标记数据。此外,从最近的视觉和语言预训练框架(即剪辑)中配备了预训练的视觉编码器,我们的模型可实现显着的性能增长,这表明我们的方法与流行的预训练模型兼容。代码和数据可在https://github.com/huiguanlab/nrccr上找到。
translated by 谷歌翻译
当前的文本到视频检索方法(T2VR)经过培训和测试,并在视频捕获方向的数据集(例如MSVD,MSR-VTT和VATEX)上进行了测试。这些数据集的一个关键属性是,假定视频在短时间内被暂时预先修剪,而提供的字幕很好地描述了视频内容的要旨。因此,对于给定的配对视频和标题,该视频应该与标题完全相关。但是,实际上,由于查询尚不清楚,因此预处理的视频剪辑可能不包含足够的内容来完全满足查询。这表明文学与现实世界之间存在差距。为了填补空白,我们在本文中提出了一个新颖的T2VR子任务,称为部分相关的视频检索(PRVR)。未修剪的视频被认为是部分相关的W.R.T.给定的文本查询是否包含与查询相关的时刻。 PRVR旨在从大量未修剪视频中检索此类相关视频。 PRVR与单个视频时刻检索和视频语料库时刻的检索有所不同,因为后两个是要检索时刻而不是未修剪的视频。我们将PRVR作为多个实例学习(MIL)问题,同时将视频视为一袋视频片段和一袋视频帧。剪辑和帧表示不同时间尺度的视频内容。我们提出了一个多尺度的相似性学习(MS-SL)网络,该网络共同学习PRVR的剪辑规模和框架尺度相似性。在三个数据集(TVR,ActivityNet字幕和Charades-STA)上进行了广泛的实验,证明了该方法的可行性。我们还表明,我们的方法可用于改善视频语料库时刻的检索。
translated by 谷歌翻译
Many recent works on understanding deep learning try to quantify how much individual data instances influence the optimization and generalization of a model, either by analyzing the behavior of the model during training or by measuring the performance gap of the model when the instance is removed from the dataset. Such approaches reveal characteristics and importance of individual instances, which may provide useful information in diagnosing and improving deep learning. However, most of the existing works on data valuation require actual training of a model, which often demands high-computational cost. In this paper, we provide a training-free data valuation score, called complexity-gap score, which is a data-centric score to quantify the influence of individual instances in generalization of two-layer overparameterized neural networks. The proposed score can quantify irregularity of the instances and measure how much each data instance contributes in the total movement of the network parameters during training. We theoretically analyze and empirically demonstrate the effectiveness of the complexity-gap score in finding 'irregular or mislabeled' data instances, and also provide applications of the score in analyzing datasets and diagnosing training dynamics.
translated by 谷歌翻译
随着机器学习变得普遍,减轻培训数据中存在的任何不公平性变得至关重要。在公平的各种概念中,本文的重点是众所周知的个人公平,该公平规定应该对类似的人进行类似的对待。虽然在训练模型(对处理)时可以提高个人公平性,但我们认为在模型培训(预处理)之前修复数据是一个更基本的解决方案。特别是,我们表明标签翻转是改善个人公平性的有效预处理技术。我们的系统IFLIPPER解决了限制了个人公平性违规行为的最小翻转标签的优化问题,当培训数据中的两个类似示例具有不同的标签时,发生违规情况。我们首先证明问题是NP-HARD。然后,我们提出了一种近似的线性编程算法,并提供理论保证其结果与标签翻转数量有关的结果与最佳解决方案有多近。我们还提出了使线性编程解决方案更加最佳的技术,而不会超过违规限制。实际数据集上的实验表明,在看不见的测试集的个人公平和准确性方面,IFLIPPER显着优于其他预处理基线。此外,IFLIPPER可以与处理中的技术结合使用,以获得更好的结果。
translated by 谷歌翻译
工业机器人操纵器(例如柯机)的应用可能需要在具有静态和非静态障碍物组合的环境中有效的在线运动计划。当可用的计算时间受到限制或无法完全产生解决方案时,现有的通用计划方法通常会产生较差的质量解决方案。我们提出了一个新的运动计划框架,旨在在用户定义的任务空间中运行,而不是机器人的工作空间,该框架有意将工作空间一般性交易,以计划和执行时间效率。我们的框架自动构建在线查询的轨迹库,类似于利用离线计算的以前方法。重要的是,我们的方法还提供了轨迹长度上有限的次级优势保证。关键的想法是建立称为$ \ epsilon $ -Gromov-Hausdorff近似值的近似异构体,以便在任务空间附近的点也很接近配置空间。这些边界关系进一步意味着可以平稳地串联轨迹,这使我们的框架能够解决批次查询方案,目的是找到最小长度的轨迹顺序,这些轨迹访问一组无序的目标。我们通过几种运动型配置评估了模拟框架,包括安装在移动基础上的操纵器。结果表明,我们的方法可实现可行的实时应用,并为扩展其功能提供了有趣的机会。
translated by 谷歌翻译
为了能够在不怀疑的情况下使用人工智能(AI)在医学中,并认识到和评估其日益增长的潜力,在当前和未来的医务人员中,对该主题的基本理解是必要的。在“通过理解的信任”的前提下,我们在德国Ki校园(AI校园)项目框架内开发了创新的在线课程,这是一个自我指导的课程,它教授AI的基础知识进行分析医疗图像数据。主要目标是提供一个学习环境,以充分了解医学图像分析中的AI,以便通过积极的应用经验来克服对该主题的进一步兴趣,并可以克服对其使用的抑制。重点是医疗应用和机器学习的基础。在线课程分为连续的课程,其中包括以解释性视频的形式,以简化和实践练习和/或测验的形式进行的实践练习,以检查学习进度。在课程的第一次跑步中,参与医学生的一项调查用于定量分析我们的研究假设。
translated by 谷歌翻译
多样性最大化是数据汇总,Web搜索和推荐系统中广泛应用的基本问题。给定$ n $元素的$ x $元素,它要求选择一个$ k \ ll n $元素的子集$ s $,具有最大\ emph {多样性},这是由$ s $中元素之间的差异量化的。在本文中,我们关注流媒体环境中公平限制的多样性最大化问题。具体而言,我们考虑了最大值的多样性目标,该目标选择了一个子集$ s $,该子集$ s $最大化了其中任何一对不同元素之间的最小距离(不同)。假设集合$ x $通过某些敏感属性(例如性别或种族)将$ m $ discoint组分为$ m $ discoint组,确保\ emph {fairness}要求所选的子集$ s $包含每个组$ i的$ k_i $ e元素\在[1,m] $中。流算法应在一个通过中顺序处理$ x $,并返回具有最大\ emph {多样性}的子集,同时保证公平约束。尽管对多样性的最大化进行了广泛的研究,但唯一可以与最大值多样性目标和公平性约束的唯一已知算法对数据流非常低效。由于多样性最大化通常是NP-HARD,因此我们提出了两个在数据流中最大化的公平多样性的近似算法,其中第一个是$ \ frac {1- \ varepsilon} {4} {4} $ - 近似于$ m = 2 $,其中$ \ varepsilon \ in(0,1)$,第二个实现了$ \ frac {1- \ varepsilon} {3m+2} $ - 任意$ m $的近似值。现实世界和合成数据集的实验结果表明,两种算法都提供了与最新算法相当的质量解决方案,同时在流式设置中运行多个数量级。
translated by 谷歌翻译
通常,大型数据集使深度学习模型能够以良好的准确性和可推广性能。但是,大规模的高保真仿真数据集(来自分子化学,天体物理学,计算流体动力学(CFD)等,由于维度和存储限制,策划的策划可能具有挑战性。损失的压缩算法可以帮助减轻存储的限制,只要很长时间保留了总体数据保真度。为了说明这一点,我们证明了对佩斯卡尔CFD模拟的数据进行了训练和测试的深度学习模型,对在语义细分问题中有损耗的压缩期间引入的错误是可靠的。我们的结果表明,有损压缩算法提供了一种现实的途径,可以将高保真科学数据暴露到开放源数据存储库中,以构建社区数据集。在本文中,我们概述,构建和评估建立大数据框架的要求,在https:// bastnet上证明。 github.io/,用于科学机器学习。
translated by 谷歌翻译
需要连续监测足部溃疡愈合,以确保给定治疗的功效并避免任何恶化。脚下溃疡分割是伤口诊断的重要步骤。我们开发了一种模型,其精神与良好的编码器编码器和残留卷积神经网络相似。我们的模型包括剩余的连接以及在每个卷积块中集成的通道和空间注意力。一种基于贴剂训练,测试时间增加以及对获得预测的多数投票的简单方法,导致了卓越的性能。我们的模型没有利用任何容易获得的骨干架构,在类似的外部数据集或任何转移学习技术上进行预训练。与用于足球溃疡细分任务的可用最新模型相比,网络参数的总数约为500万,这使其成为一个显着的轻巧模型。我们的实验在斑块级和图像级别上呈现了结果。我们的模型应用于Miccai 2021的公开脚步溃疡细分(Fuseg)挑战数据集,就骰子相似性得分而言,最先进的图像级绩效为88.22%,在官方挑战排行榜中排名第二。我们还展示了一个非常简单的解决方案,可以将其与更高级的体系结构进行比较。
translated by 谷歌翻译